首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Ambari EDP 大数据平台

    Ambari EDP 大数据集群部署手册

    版本说明:Ambari:3.0.0EDP:3.3.0虚拟机版本:CentOS-8.5.2111-x86_64-dvd1.iso更新日志列表:日期更新章节更新日志2025.01.05新增第六章节新增第六章节 下载ambariedp部署包ambariedp 的部署包在文章开头分享的百度网盘地址里。将 ambariedp 目录拷贝到 /var/www/html 目录下即可。 /edp/3. 十一、通过 ambari 部署 EDP 集群主要说一下关键步骤。 示例地址:http://node1.ambari.com/edp/centos8/x86_64/3.3.0注意:Base URL 里面的地址是主机名、ip地址都可以。

    1.2K10编辑于 2025-03-23
  • 来自专栏大数据实战演练

    基于Ambari的大数据平台解决方案:EDP,闪亮登场!

    在这种背景下,大家迫切希望 Ambari 能支持对 Apache Hadoop 的可视化安装部署;也希望 Ambari 能支持更多的操作系统,比如国产化操作系统等。 经过团队小伙伴们的不懈努力,我们迭代开发的基于 Apache Ambari 的大数据平台解决方案能满足大部分企业的要求。我们将产品命名为 EDP,译为「企业级数据平台」。 二、EDP 简介 EDP,全称是 Enterprise Data Platform,是基于 Ambari 可视化部署的 Hadoop 生态的大数据组件集合,是一套成熟的企业级大数据平台解决方案。 四、EDP 丰富的大数据组件生态 EDP 与 HDP 组件版本对比: 五、EDP 亮点介绍 1、Ambari Python3、JDK17 与 Spring6 版本发布 此次版本发布了国内首个基于Python3 、JDK17与Spring6的 Ambari 版本。

    1.2K00编辑于 2025-03-17
  • 来自专栏Ambari EDP 大数据平台

    EDP 发布新组件时,如何进行增量安装?

    最近 EDP 新增了 kudu 组件,对于已经部署了 EDP 的同学们,如何使用 EDP 安装 kudu 组件,本文做一个说明。 后续 EDP 会继续集成新的组件,大家可以参考此文档使用 EDP 继续安装新组件。 相关 rpm 包都在 EDP 部署文档里,里面有地址说明。 https://www.yuque.com/create17/edp/zoluwelwrvtge3c9 一、以新增 kudu 组件为例 1)将 kudu 相关 rpm 包,拷贝到 /var/www/html /edp/centos8/x86_64/3.3.0 目录下。 3)重新制作 yum 本地源 cd /var/www/html/edp/centos8/x86_64/3.3.0 rm -rf repodata/ # 会重新生成repodata目录 createrepo

    27600编辑于 2025-03-23
  • 来自专栏Ambari EDP 大数据平台

    【技术革新】告别AMS,拥抱Prometheus:Ambari监控系统的现代化之路

    引言:一次彻底的革新在经历了多年的 Ambari Metrics System (AMS) 痛点后,EDP 团队终于对 Ambari 的监控系统进行了一次彻底的改造。 Ambari Metrics添加自定义监控指标的学习门槛过高2)Ambari EDP 新版首页再来看下 Ambari EDP 新版首页,如下图所示:默认展示"机器常用指标"存活节点数量实时展示节点启动时长监控 2、监控数据源管理在 Ambari EDP 中,增加了监控数据源配置管理。EDP 支持很多数据源,只要是 Prometheus 兼容的数据库都可以,所以就需要这个管理界面了。 Ambari EDP 通过监控数据源管理、监控仪表盘管理、指标查询、拥抱 Prometheus 生态,将 Ambari 监控功能变得更丰富、更强大! Ambari EDP 新版监控,替代了深受网友吐槽的 Ambari Metrics,拥抱了 Prometheus 生态,未来可期! 欢迎大家在评论区交流~

    35710编辑于 2025-03-23
  • 来自专栏Ambari EDP 大数据平台

    【技术革新】当古老的Ambari Metrics遇上现代监控:我们如何重构一个停滞不前的监控系统

    EDP,我们管理着数百个Hadoop集群,每天面对的不仅是海量数据,还有来自AMS的各种"小情绪":时不时的服务宕机、莫名其妙的数据丢失、以及那令人抓狂的查询延迟,GC..." 什么是Ambari Metrics System? — EDP资深运维工程师单机HBase不仅存在存储容量瓶颈,还带来了单点故障风险——一旦HBase服务出现问题,整个监控系统将无法正常工作。2. — EDP开发团队缺乏便捷的自定义监控指标添加机制,使得扩展新的监控项目变得异常复杂。这严重限制了团队对特定服务和应用的监控能力。5. 监控系统的现代化之路》作者简介:EDP 技术团队核心成员,负责大数据平台架构设计与优化。

    35600编辑于 2025-03-23
  • 来自专栏后台技术底层理解

    Ambari on Docker

    下载 Ambari on Docker 1.从GitHub上下载ambari文件到本地,https://github.com/sequenceiq/docker-ambari 2.unzip docker-ambari-master .zip 到/opt目录下; unzip docker-ambari-master .zip 加载环境 3.进入cd /opt/docker-ambari-master,看到有 ambari-functions 文件夹,执行: source ambari-functions #将命令加载到环境中。 4.执行amb-settings,可以看到此时IP为空: AMBARI_SERVER_IP= 这里不用配置ip 5.执行启动命令,自动下载安装docker集群: 启动资源 amb-start-cluster =172.17.0.5 9.用浏览器登陆ambari:http://172.17.0.5:8080,可以看到已经安装成功,接下来可以配置使用集群了

    81870发布于 2020-08-05
  • 来自专栏开源心路

    Ambari介绍

    (blueprint后续介绍) 服务状态展示、监控、报警 Ambari主要概念 资源 ambari将集群及集群中的服务、组件、机器都视为资源,资源的状态都会记录在db中 Hadoop生态 Stack 发行版本的含义 Ambari整体流程 restAPI->ambari-server 单步创建 通过调用ambari提供的restAPI进行集群的单步创建 Add cluster:新建集群 Update cluster: ambari-server->ambari-agent ambari-server端负责接收rest请求,再向agent端发送命令,发送命令的格式是json,内部包涵部署脚本执行命令(安装/开始/停止服务 ambari-agent执行脚本。 ambari-agent所执行的脚本存储在ambari-server 机器上的/var/lib/ambari-server/resources/stacks/HDP/2.0.6/下各个service路径下的

    49020编辑于 2023-06-29
  • 来自专栏开源心路

    ambari安装

    /2.2.2.0/ambari.repo Ambari.repo: #VERSION_NUMBER=2.2.2.0-460 [Updates-ambari-2.2.2.0] name=ambari-2.2.2.0 4.1 安装Ambari2.2.2 4.1.1安装Ambari yum install ambari-server 4.1.2配置Ambari ambari-server setup 下面是配置执行流程 输入:ambari Enter user account for ambari-server daemon (root):ambari Adjusting ambari-server permissions Press to continue. 11.将Ambari数据库脚本导入到数据库 如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambari的sql脚本 用Ambari用户(上面设置的用户 )登录mysql mysql -u ambari -p use ambari source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

    71020编辑于 2023-06-29
  • 来自专栏岑玉海

    ambari删除脚本

    #1.删除hdp.repo和hdp-util.repo cd /etc/yum.repos.d/ rm -rf hdp* rm -rf HDP* #rm -rf ambari* #2.删除安装包 #用yum list installed | grep HDP来检查安装的ambari的包 yum remove -y sqoop.noarch yum remove -y lzo-devel.x86_64 #5.重置数据库,删除ambari包 #采用这句命令来检查yum list installed | grep ambari ambari-server stop ambari-agent stop ambari-server reset yum remove -y ambari-* yum remove -y postgresql rm -rf /etc/yum.repos.d/ambari* rm -rf /var/lib /ambari* rm -rf /var/log/ambari* rm -rf /etc/ambari* 这个脚本给安装失败,需要重新安装的人用的,在ambari的官网上找的,然后自己花了一个小时写出来的

    1.4K80发布于 2018-03-01
  • 来自专栏大数据学习笔记

    Ambari 2.4.2 汉化

    Ambari 2.4.2 汉化 1、ambari-web (1)apache-ambari-2.4.2-src/ambari-web/app/messages.js 该文件是KeyValue文件,3000 (2)apache-ambari-2.4.2-src/ambari-web/app/assets/index.html 将页脚License汉化 (3)apache-ambari-2.4.2-src (4)apache-ambari-2.4.2-src/ambari-web/app/controllers/wizard.js 翻译277行: body: “If you proceed to -*- 翻译了2条:raise Exception 3、ambari-admin (1)apache-ambari-2.4.2-src/ambari-admin/src/main/resources 、版权等 5、ambari-shell (1)apache-ambari-2.4.2-src/ambari-shell/ambari-python-shell/src/main/python/setup.py

    83320编辑于 2022-05-06
  • 来自专栏迁移内容

    Ambari系统架构

    一、Ambari系统架构 Ambari框架采用的是Server/Client的模式,主要由两部分组成:ambari-agent和ambari-server。 ambari依赖其它已经成熟的工具,例如其ambari-server 就依赖python,而ambari-agent还同时依赖ruby, puppet,facter等工具,还有它也依赖一些监控工具nagios ambari-server主要管理部署在每个节点上的管理监控程序。 Ambari-agent 部署在监控节点上运行的管理监控程序。 ambari-web 作为用户与 Ambari server 交互的。 二、Ambari-agent内部架构 Ambari-agent是一个无状态的,其功能分两部分: 采集所在节点的信息并且汇总发送心跳发送汇报给ambari-server。

    2.3K10编辑于 2022-12-01
  • 来自专栏挖掘大数据

    ambari安装指南

    的软件包: cd /var/www/html sudo mkdir -p ambari/centos6 cd ambari/centos6 sudo reposync-r Updates-ambari- repositoryconfiguration file(在要安装ambari-server的机器上配置Ambari repository的yum源) 注意:只需要在ambari-server上配置ambari.repo / vi ambari.repo 加入如下内容指向刚刚创建的本地ambari库: [Updates-ambari-2.1.0] name=ambari-2.0.0 - Updates baseurl=http the Ambari Repo 检查仓库是否可用: yum repolist 安装: sudo yum install ambari-server (四)Set Up the Ambari Server with Ambari,selecty. http://docs.hortonworks.com/HDPDocuments/Ambari-2.0.0.0/Ambari_Doc_Suite/ADS_v200

    1.8K80发布于 2018-01-16
  • 来自专栏开源心路

    ambari报错总结01

    ambari On host centos1.hadoop role YARN_CLIENT in invalid state. Invalid transition. Invalid event: HOST_SVCCOMP_OP_IN_PROGRESS at INSTALL_FAILED 登录元数据库(我是mysql) use ambari; select host_id

    24310编辑于 2023-06-29
  • 来自专栏白石

    Ambari安装指南 顶

    Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent.简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件 [5] 配置AMBARI-SERVER ##指定JAVA_HOME ambari-server setup -j /usr/java/default ##不指定JAVA_HOME执行 ambari-server setup 选择n会按默认配置 数据库类型:postgresql 数据库:ambari 用户名:ambari 密码:bigdata 等待安装完成 [6] 启动AMBARI-SERVER ##启动: ambari-server start ##查看: ps -ef | grep Ambari ##停止: ambari-server stop ##帮助 ambari-server help sshd的端口不是标准的22时,可以在每个agent节点上先手工安装AMBARI-AGENT yum install ambari-agent 备注: Ambari安装的环境路径: 各台机器的安装目录:

    1.7K30发布于 2019-08-23
  • 来自专栏数据湖

    安装Ambari和HDP

    转向Ambari是他们的一个可选项。 Ambari是Apache的一个顶级开源项目,开源是其最大的优势,开源也意味着Ambari可以灵活地进行扩展,集成更多的数据组件,对于需要定制化和二次开发的企业来说,Ambari也极具吸引力。 [ambari-2.6.1.5] name=ambari Version - ambari-2.6.1.5 baseurl=http://52.83.64.220:8085/ambari/centos7 ,需要输入之前设置的路径和密码 登录ambari数据库,对数据库进行初始化 mysql -uroot -p123456 use ambari source /var/lib/ambari-server/ resources/Ambari-DDL-MySQL-CREATE.sql show tables; 完成数据库的初始化后,启动 ambari-server start 5、登录Ambari Web页面

    3.4K33发布于 2020-10-15
  • 来自专栏开源心路

    ambari系列--报错问题

    ambari.repo 指定了ambari的源; 通过在ambari web配置HDP源,自动生成 “HDP*.repo” 文件。 ams:hadoop  /var/log/ambari-metrics-monitor/ambari-metrics-monitor.out 在安装ambari metrics monitor 之前 /stack-recommendations 解决方案:sudo chown -R ambari /var/run/ambari-server 删除已安装服务: Ambari 借鉴了很多成熟分布式软件的 幸运的是 Ambari 提供了 DELETE 的 Rest API,我们可以通过该 API 来删除 Ambari 中 Service。 1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX 2,关闭ambari-server,ambari-agent ambari-server stop   ambari-agent

    80710编辑于 2023-06-29
  • 来自专栏大数据学习笔记

    Ambari本地库搭建

    0 Obtaining the Repositories(下载库) 0.1 CentOS 6       http://public-repo-1.hortonworks.com/ambari/centos6 ambari-2.4.2.0-centos7.tar.gz      [root@east81 Public]# scp -r AMBARI-2.4.2.0/ 192.168.1.180:/var/ )       http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo       vnode0 yum.repos.d]# vi ambari.repo       [Updates-ambari-2.4.2.0]       name=ambari-2.4.2.0 - Updates =1 3 访问本地库 http://192.168.1.180/ambari/       Index of /ambari NameLast modifiedSizeDescription

    96110编辑于 2022-05-06
  • 来自专栏大数据学习笔记

    Ambari架构源码解析

    Ambari-agent 、 Ambari-metrics-collector 和 Ambari-metrics-monitor 。 Ambari架构采用的是Server/Client的模式,主要由两部分组成:ambari-agent和ambari-server。 ambari-web Ambari页面UI的代码,作为用户与Ambari server交互的。 ambari-views 用于扩展Ambari Web UI中的框架 ambari-common Ambari-server 和Ambari-agent 共用的代码 ambari-metrics 在Ambari Ambari-agent 4.1ambari-agent结构 ambari-agent是一个无状态的。

    1.5K20编辑于 2022-05-06
  • 来自专栏大数据实战演练

    Ambari2.7.1安装

    新增ambari用户并增加权限 mysql -uroot -proot123CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';CREATE USER 'ambari'@'node1.ambari.com' IDENTIFIED BY 'ambari';GRANT ALL 新建repo文件 新建ambari.repo文件 [ambari]name=ambaribaseurl=http://node1.ambari.com/CentOS-7/ambari-2.6.0.0enabled 九、在主节点安装ambari-server 1. 安装 yum -y install ambari-server 2.

    2.1K20发布于 2018-12-12
  • 来自专栏DevOps

    Ambari + HDP 整体介绍

    Ambari + HDP介绍:         Ambari:WEB应用程序,后台为Ambari Server,负责与HDP部署的集群工作节点进行通讯,集群控制节点包括Hdfs,Spark,Zk,Hive JDK,MySql 部署 (需要配置Ambari,Hive,Hbase等多张表)         3. 部署Ambari 服务         4. 安装httpd,配置本地ambari+HDP 的yum源         5. Ambari Server安装及初始化         6. Ambari Server 通过向导安装集群         7. Ambari 使用介绍         8. Hdfs HA的高可用         9. 以上就是对Ambari + HDP的一个整体介绍,后面会针对Ambari的 部署步骤进行细化,确保根据以上步骤可以通过Ambari +HDP正确部署集群。

    49910编辑于 2024-03-29
领券